ミッション完了！あなたはAIの言語の基本構成要素を完全にマスターしました！まだちょっと違いますね。このシーケンスをもう一度組み直してみましょう！知識アップロード済み：トークンとシーケンス … それは … ？ … それとも …
AIが文章を読み取るために使う小さな構成要素は何と呼ばれますか？
正解です！トークンとは、「apple」や「ing」、あるいは「？」といった、AIにとって言語の構成単位となる小さな単位のことです。
コンピュータは、トークンをどのように表現して理解できるようにするのですか？
正解！コンピュータは数値しか理解できないため、すべてのトークンには独自の識別番号が割り当てられます。
「friend」と「ship」のトークンがあるとき、「friendship」が数字のリストになったら、何と呼ばれますか？
完璧です！トークンの番号を順番に並べたリストを「シーケンス」といいます。
なぜシーケンス内のトークンの順序がこれほど重要なのでしょうか？
まさにその通り！同じトークンでも順序が違えば、文全体の意味が変わってしまいます。
AIが一度に処理できるトークンの上限はどれくらいですか？
正解！コンテキストウィンドウとは、会話中にAIが「頭の中に保持できる」情報量の限界を示すものです。
ピリオド（.）のような単一の句読点もトークンになれますか？
正解！トークンは単語全体、単語の一部、あるいは句読点さえも含みます。すべてが構成要素なのです！
1
トークン化とシーケンス
EvoClass-AI004Lecture 4
0
🤖 ビープブー！ようこそ、中尉！以下のサブトピックを選択して、AIがトークン化を通じて「読む」仕組みを見てみましょう。
Py-Bot コマンドライブ
ビープブー！ こんにちは、中尉！AIに文章を読ませるには、まず単語を小さな「レゴブロック」のように切り刻む必要があります。コンピュータが単語を数字に変換する仕組みを学びたいですか？
トピックの進捗0%
素晴らしい選択です！トークンはレゴブロックのようなものです。「friendship」のような単語は「friend」や「ship」などの小さな部分に分けられます。たった一つの「.」さえもトークンになります！AIにとっては、長い文全体よりもこれらの小分けされた部分の方が扱いやすいのです。
1
サブトピック1
トークンとは何か？
"friend"や"ship"のような小さな構成要素にテキストを切り刻むこと
見てください！トークンが得られたら、AIはそれぞれに秘密の識別番号を与えます。これらの数字が「シーケンス」となります。覚えておいてください：順序が重要です！「The dog bit the man」（犬が男を噛んだ）と「The man bit the dog」（男が犬を噛んだ）は同じブロックを使っていますが、順序によって全く異なる物語になります！
2
サブトピック2
シーケンスの力
順序がすべてである数学的なリストにブロックを変換すること
ご存知ですか？AIには「コンテキストウィンドウ」というものがあり、まるで手の大きさのようなものです。一度に「頭の中」に保持できるトークンの数に限りがあり、先頭の部分から忘れ始めるのです！
知っていましたか？
AIには「コンテキストウィンドウ」というものがあり、まるで手の大きさのようなものです。一度に「頭の中」に保持できるトークンの数に限りがあり、先頭の部分から忘れ始めるのです！
読み込み中...
⭐⭐⭐

ミッション完了！

あなたはトークンの達人です！